The Extender: A Log-Structured Transformer
日志结构Transformer：分离残差与扩展嵌入以压缩KV缓存
🧭 Transformer架构改进 · KV cache压缩 ★ 深度解读
University of Illinois Chicago
提出日志结构Transformer，用每层32维扩展嵌入替代全宽KV缓存，使924M模型持久注意力内存减少104倍且长上下文更优
📌 工作参考价值（4 点）
- 对于需要处理长用户行为序列或长文档上下文的电商/搜索推荐LLM，可借鉴双通道设计：将注意力KV输入改为低维log-structured扩展嵌入，回合间释放全宽KV缓存，显著节省显存，支持更长用户历史。
- 架构改动仅影响注意力输入，与GQA、量化、层复用等现有压缩技术正交；论文显示Extender+GQA在参数更少情况下仍优于MHA Transformer，可直接叠加到现有推理优化栈。
- 推理工程上可采用 ephemeral kv-cache 策略：持久保存x*缓存，按需重投影KV，适合多轮Agent或低频长上下文请求，避免长期占用大量显存。
- 分离下一token预测残差流与注意力记忆通道的思想，可能提升长序列建模能力（如多key检索类任务），在用户行为建模或长文档理解场景值得验证。